베이즈 정리

3. 베이즈 정리 유도

조건부 확률의 정의에 의해, 사건 B가 일어났을 때 사건 A의 조건부 확률은 다음과 같다.

:$P(A|B)\; =\; \backslash frac\{P(A\; \backslash cap\; B)\}\{P(B)\}$ (단, $P(B)\; \backslash neq\; 0$)

확률의 곱셈 정리에 의해,

:$P(A\; \backslash cap\; B)\; =\; P(A|B)P(B)\; =\; P(B|A)P(A)$

이다.

전체 확률의 법칙에 의해, 표본 공간이 사건 ''A''₁, ''A''₂, ... 로 분할될 때,

:$P(B)\; =\; \backslash sum\_\{j\}P(B\; \backslash cap\; A\_j)\; =\; \backslash sum\_\{j\}\; P(B|\; A\_j)\; P(A\_j)$

이다.

위 식들을 결합하면 베이즈 정리가 유도된다.

:$P(A\_1|B)\; =\; \backslash frac\{P(B\; \backslash cap\; A\_1)\}\{P(B)\}\; =\; \backslash frac\{P(B|A\_1)P(A\_1)\}\{\backslash sum\_\{j\}\; P(B|\; A\_j)\; P(A\_j)\}$^[15]

특히, 사건 A와 그 여사건 ¬A에 대해 베이즈 정리는 다음과 같이 나타낼 수 있다.

:$P(A|\; B)\; =\; \backslash frac\{P(B|\; A)\; P(A)\}\{\; P(B|\; A)\; P(A)\; +\; P(B|\; \backslash neg\; A)\; P(\backslash neg\; A)\}$

4. 역사

토머스 베이즈의 원고는 리처드 프라이스가 베이즈 사후 1763년에 〈확률론의 한 문제에 대한 에세이〉(An Essay towards solving a Problem in the Doctrine of Chances^영어)라는 제목으로 출판하면서 최초로 등장하였다.^[35] 이후 피에르시몽 라플라스는 1774년에 같은 정리를 재발견하고 1812년에 수식화하였다.^[36][37]

베이즈 정리는 통계학자이자 철학자인 토머스 베이즈의 이름을 따서 명명되었다. 베이즈는 조건부 확률을 사용하여 증거를 통해 미지의 매개변수에 대한 한계를 계산하는 알고리즘(그의 명제 9)을 제공했다. 그의 연구는 1763년 ''확률 교리의 문제 해결을 위한 에세이''로 출판되었다. 베이즈는 (현대 용어로) 이항 분포의 확률 매개변수에 대한 분포를 계산하는 방법을 연구했다.

베이즈가 사망한 후, 그의 가족은 그의 논문을 친구이자 목사이자 철학자이며 수학자인 리처드 프라이스에게 넘겼다. 리처드 프라이스는 2년이 넘는 기간 동안 미출판된 원고를 상당 부분 편집한 후, 1763년 12월 23일 왕립 학회에서 소리내어 읽어줄 친구에게 보냈다.^[1] 프라이스는 베이즈의 주요 저작인 "확률 교리의 문제 해결을 위한 에세이"(1763)를 편집했으며, 이 저작은 ''철학 회보''에 실렸고,^[3] 베이즈 정리를 담고 있다. 프라이스는 이 논문에 베이즈 통계의 철학적 기초의 일부를 제공하는 서문을 썼으며 베이즈가 제시한 두 가지 해결책 중 하나를 선택했다. 1765년, 프라이스는 베이즈의 유산에 대한 그의 공로를 인정받아 왕립 학회의 회원으로 선출되었다.^[4][5]

베이즈와는 별도로, 피에르시몽 라플라스는 1774년에, 그리고 나중에는 1812년 그의 ''확률의 분석적 이론''에서 조건부 확률을 사용하여 증거가 주어졌을 때 사전 확률로부터 갱신된 사후 확률의 관계를 공식화했다. 그는 베이즈의 연구를 알지 못한 채 1774년에 베이즈의 결과를 재현하고 확장했다.^[7] 확률의 베이즈적 해석은 주로 라플라스에 의해 개발되었다.^[8]

약 200년 후, 해럴드 제프리스 경은 베이즈의 알고리즘과 라플라스의 공식을 공리계를 기반으로 하여, 1973년 저서에서 베이즈 정리를 "확률 이론에 대한 피타고라스 정리가 기하학에 대한 것과 같다"고 썼다.^[9]

스티븐 스티글러는 베이즈 정리가 베이즈보다 앞서 영국의 시각 장애인 수학자 니콜라스 손더슨에 의해 발견되었다는 베이즈적 주장을 사용했다.^[10][11] 그러나 그 해석은 논쟁의 여지가 있다.^[12]

마틴 후퍼^[13]와 샤론 맥그레인^[14]은 리처드 프라이스의 기여가 상당하다고 주장했다. 현대적 기준에 따르면, 베이즈-프라이스 규칙이라고 불러야 한다는 주장도 있다.^[14]

5. 베이즈 추론

베이즈 추론은 베이즈 정리를 사용하여 확률적 추론을 수행하는 방법으로, 피에르시몽 라플라스에 의해 시작되었으며 현재 베이즈 통계학의 시초가 되었다. 사건의 확률이라는 개념을 채택하며, 스팸 메일 필터링과 같은 작업의 자동화에 이용된다.^[1]

확률의 베이즈적 해석에 따르면, 베이즈 정리는 증거를 고려하기 전과 후의 명제에 대한 믿음의 정도를 연결한다. 예를 들어, 동전이 앞면이 나올 확률이 뒷면이 나올 확률의 두 배라고 50% 확신하는 경우를 생각해 보자. 동전을 여러 번 던져 결과를 관찰하면, 그 믿음의 정도는 결과에 따라 상승하거나 하락할 수 있다. 명제 ''A''와 증거 ''B''에 대해, 사전 확률 ''P'' (''A'')는 ''A''에 대한 초기 믿음의 정도이고, 사후 확률 ''P'' (''A'' | ''B'')는 ''B''가 참이라는 소식을 반영한 후의 믿음의 정도이다. 분수는 ''B''가 ''A''에 제공하는 지원을 나타낸다.

5. 1. 비판

6. 응용

베이즈 정리는 다양한 분야에서 의사 결정 및 확률 추정에 활용된다.
약물 검사베이즈 정리는 약물 검사 결과를 올바르게 해석하는 데 도움을 준다. 약물 검사의 민감도(실제 약물 사용자를 양성으로 판정하는 비율)와 특이도(실제 약물 비사용자를 음성으로 판정하는 비율)가 아무리 높아도, 약물 사용자 비율(유병률)이 낮으면 위양성(가짜 양성) 비율이 높아질 수 있다.

예를 들어, 민감도 99%, 특이도 99%인 약물 검사가 있고, 전체 인구의 0.5%만 약물을 사용한다고 가정하자. 이때 무작위로 선택된 사람이 양성 반응을 보였을 때, 실제로 약물 사용자일 확률은 약 33.2%에 불과하다. 이는 위양성이 진양성보다 많기 때문이다. 특이도를 높이면 양성 예측도(검사 결과가 양성일 때 실제로 약물 사용자일 확률)를 높일 수 있다.

예를 들어, 곤충학자가 등 무늬를 보고 희귀 아종의 딱정벌레일 가능성을 추정하는 상황을 생각해 보자. 희귀 아종의 98%가 특정 패턴을 가지고 있고, 일반 아종은 5%만 해당 패턴을 가진다. 희귀 아종은 전체의 0.1%를 차지한다. 이 경우, 패턴을 가진 딱정벌레가 희귀종일 확률은 베이즈 정리를 통해 약 1.9%로 계산된다.

6. 1. 약물 검사

베이즈 정리는 약물 검사 결과를 해석하는 데 중요한 도구로 사용될 수 있다. 약물 검사는 민감도와 특이도라는 두 가지 중요한 지표를 가진다. 민감도는 실제로 약물을 사용한 사람을 양성으로 정확하게 판정하는 비율이고, 특이도는 약물을 사용하지 않은 사람을 음성으로 정확하게 판정하는 비율이다.

하지만, 민감도와 특이도가 아무리 높아도, 실제로 약물을 사용하는 사람의 비율(유병률)이 낮으면 위양성(실제로는 약물을 사용하지 않았는데 양성으로 판정되는 경우) 비율이 높아질 수 있다.
예시:어떤 약물 검사가 민감도 99%, 특이도 99%라고 가정해보자. 그리고 전체 인구의 0.5%만이 실제로 약물을 사용한다고 가정하자.

이 경우, 무작위로 선택된 사람이 검사에서 양성 반응을 보였을 때, 실제로 약물 사용자일 확률은 다음과 같이 계산된다.

:$$

\begin{align}

P(\text{U} \mid \text{+}) &= \frac{P(\text{+} \mid \text{U}) \, P(\text{U})}{P(+)} \\

&= \frac{P(\text{+} \mid \text{U}) \, P(\text{U})}{P(\text{+} \mid \text{U}) \, P(\text{U}) + P(\text{+} \mid \overline{\text{U}}) \, P(\overline{\text{U}})} \\

&= \frac{0.99 \times 0.005}{0.99 \times 0.005 + 0.01 \times 0.995} \\

&\approx 0.332

\end{align}

즉, 양성 반응을 보인 사람 중 실제로 약물 사용자인 경우는 약 33.2%에 불과하다. 이는 위양성이 진양성보다 많기 때문이다.

이 예시는 특이도가 얼마나 중요한지를 보여준다. 만약 민감도를 100%로 높이고 특이도를 99%로 유지하면 양성 예측도(검사 결과가 양성일 때 실제로 약물 사용자일 확률)는 33.2%에서 33.4%로 거의 증가하지 않는다. 그러나 민감도를 99%로 유지하고 특이도를 99.5%로 높이면 양성 예측도는 49.9%로 크게 증가한다.

6. 2. 유전 질환

유전학에서 베이즈 정리는 개인이 특정 유전형질을 가질 확률을 추정하는 데 사용될 수 있다. 가족력이나 유전자 검사 결과 등을 바탕으로 질병 위험 또는 보인자(특정 질병의 유전자를 가지고 있지만 겉으로 드러나지 않는 사람) 확률을 계산하며, 유전 상담 및 생식 계획에 활용된다.^[26]

일례로, 어떤 여성에게 낭성 섬유증(CF) 가족력이 있지만 본인은 CF 검사에서 음성 판정을 받은 경우, 베이즈 정리를 이용하여 이 여성의 자녀가 CF를 가지고 태어날 위험을 계산할 수 있다.

• 환자에게 증상이 없으므로, 정상 유전자만 가지고 있거나(동형 접합), 정상 유전자와 변이 유전자를 모두 가지고 있을 수 있다(이형 접합). 부모 모두 질병에 걸리지 않았지만 보인자일 수 있다는 정보를 바탕으로, 푸네트 사각형을 사용하여 사전 확률을 구한다.

	W (야생형 대립 유전자에 대한 동형 접합, 비보인자)	M (이형 접합, CF 보인자)
W (야생형 대립 유전자에 대한 동형 접합, 비보인자)	WW	MW
M (이형 접합, CF 보인자)	MW	MM (낭성 섬유증 환자)

환자에게 증상이 없으므로 세 가지 가능성(WW, MW, MW)만 남는다. 이 중 환자가 변이 유전자를 가지고 있는 경우는 두 가지(MW, MW)이므로 사전 확률은 2/3 (보인자일 확률) 및 1/3 (보인자가 아닐 확률)이다.

• 다음으로, 환자가 유전자 검사에서 음성 판정을 받았다는 정보를 고려한다. 이 검사의 정확도가 90%라면, 조건부 확률은 다음과 같이 계산된다.

가설	가설 1: 환자는 보인자이다.	가설 2: 환자는 보인자가 아니다.
사전 확률	2/3	1/3
음성 검사의 조건부 확률	1/10	1
결합 확률	1/15	1/3
사후 확률	1/6	5/6

• 마지막으로, 베이즈 정리를 이용하여 사후 확률을 계산하면, 환자가 보인자일 확률은 1/6, 보인자가 아닐 확률은 5/6이 된다.

만약 환자의 남편도 같은 검사를 받고 음성 판정을 받았다면, 동일한 방식으로 베이즈 분석을 수행한다. 자녀가 CF에 걸릴 확률은 부모 각각이 보인자일 확률과 두 보인자에게서 CF 유전자를 가진 자녀가 태어날 확률(1/4)을 곱하여 계산한다.

베이즈 분석은 유전 질환과 관련된 표현형(겉으로 드러나는 특징) 정보를 사용하여 수행할 수도 있다. 예를 들어, 낭성 섬유증은 초음파 검사에서 정상보다 밝게 보이는 '에코성 장'을 통해 태아에게서 발견될 수 있다. 그러나 이 검사는 완벽하지 않으므로, 부모의 유전자 검사 정보와 함께 베이즈 정리를 활용하여 태아가 실제로 질병을 가질 확률을 더 정확하게 추정할 수 있다.^[27]

6. 3. 기타 응용

세 죄수 문제, 몬티 홀 문제, 두 아이 문제, 두 봉투 문제와 같은 여러 문제 해결에 조건부 확률 계산과 베이즈 정리가 활용된다.

어떤 곤충학자가 등 무늬를 보고 희귀 아종의 딱정벌레일 수 있다고 생각하는 상황을 가정해 보자. 희귀 아종의 98%가 해당 패턴을 가지고 있어, ''P''(패턴 | 희귀종) = 98%이다. 일반 아종의 경우 5%만이 해당 패턴을 가진다. 희귀 아종은 전체 개체수의 0.1%를 차지한다. 이 경우, 패턴을 가진 딱정벌레가 희귀종일 확률 ''P''(희귀종 | 패턴)은 다음과 같이 베이즈 정리를 통해 계산할 수 있다.

어떤 딱정벌레든 희귀종 또는 일반종이므로, 베이즈 정리의 확장된 형태는 다음과 같다.

: $$$$

\begin{align}

P(\text{희귀종} \vert \text{패턴}) &= \frac{P(\text{패턴} \vert \text{희귀종})\,P(\text{희귀종})} {P(\text{패턴})}\\

[8pt] &= \tfrac{P(\text{패턴}\vert \text{희귀종})\,P(\text{희귀종})} {P(\text{패턴} \vert \text{희귀종})\,P(\text{희귀종}) + P(\text{패턴}\vert \text{일반종})\,P(\text{일반종})}\\

[8pt] &= \frac{0.98 \times 0.001} {0.98 \times 0.001 + 0.05 \times 0.999}\\

[8pt] &\approx 1.9\%

\end{align}



즉, 패턴을 가진 딱정벌레가 희귀종일 확률은 약 1.9%이다.

7. 다른 수학적 프레임워크와의 관계

조건부 확률 $P(A\; \backslash vert\; B)$가 정의된 경우, $B\; \backslash to\; A$의 함축을 포착하는 것을 볼 수 있다. 확률적 계산법은 다양한 논리적 추론 규칙을 반영하거나 심지어 일반화한다. 예를 들어, 이진 진리값을 할당하는 것 외에도, 문장에 확률 값을 할당한다. $B\; \backslash to\; A$의 주장은 $P(A\backslash vert\; B)\; =\; 1$, 즉 조건부 확률이 극단적인 확률 값 $1$을 갖는다고 주장함으로써 포착된다. 마찬가지로, 함축의 부정을 주장하는 것은 $0$을 할당함으로써 포착된다.^[23]

예를 들어, $P(A)\; =\; 1$이면 (정의된 경우) $P(A\backslash vert\; B)\; =\; 1$이고, 이는 논리에서 함축 도입 $A\backslash to\; (B\; \backslash to\; A)$를 수반한다.

마찬가지로, 두 확률의 곱이 $1$이 되는 것은 두 인수가 모두 $1$이어야 하므로, 베이즈 정리는

:$P(A)\backslash ,\; P(B\; \backslash vert\; A)\; =\; P(B)\backslash ,\; P(A\backslash vert\; B)$

:$\backslash big(A\backslash land(A\backslash to\; B)\backslash big)\; \backslash leftrightarrow\; \backslash big(B\backslash land(B\backslash to\; A)\backslash big)$를 수반하며, 전건 긍정도 포함한다.

양의 값 $P(A)$에 대해, $P(A)$가 $P(B)$와 같다면, 두 조건부 확률도 같고 그 반대도 마찬가지이다. 이는 일반적으로 유효한 $(A\backslash leftrightarrow\; B)\backslash leftrightarrow\backslash big((A\backslash to\; B)\backslash leftrightarrow(B\backslash to\; A)\backslash big)$를 반영한다.

반면에, $0$과 같은 확률에 대해 고전 논리적으로 추론하면 반대 명제 형태 $\backslash big(\backslash neg\; B\backslash lor\backslash neg(B\backslash to\; A)\backslash big)\backslash leftrightarrow\backslash big(\backslash neg\; A\backslash lor\backslash neg(A\backslash to\; B)\backslash big)$가 따른다.

부정된 $A$를 사용한 베이즈 정리는 다음과 같다.

:$P(B\; \backslash vert\; \backslash neg\; A)\; \backslash big(1-P(A)\backslash big)\; =\; \backslash big(1-P(A\backslash vert\; B)\backslash big)P(B)$.

극단적인 경우 $P(\backslash neg\; A)=0$ (즉, $P(A)=1$)을 배제하면, $P(B\backslash vert\; \backslash neg\; A)\; =\; P(B)\backslash cdot\backslash tfrac\{1-P(A\backslash vert\; B)\}\{1\; -\; P(A)\}$이고 특히

:$P(\backslash neg\; B\backslash vert\; \backslash neg\; A)\; =\; 1\; -\; P(B)\backslash cdot\backslash frac\{1-P(A\backslash vert\; B)\}\{1\; -\; P(A)\}$이다.

$P(B)=0$을 배제하면, $P(A\backslash vert\; B)\; =\; 1\backslash \; \backslash leftrightarrow\backslash \; P(\backslash neg\; B\backslash vert\; \backslash neg\; A)\; =\; 1$ 이며, 이는 (적어도 폭발 원리의 전제들을 배제했을 때) 고전적인 대우 원리를 포착한다.

:$(B\; \backslash to\; A)\; \backslash leftrightarrow\; (\backslash neg\; A\; \backslash to\; \backslash neg\; B)$.

베이즈 정리는 주관적 논리에서 다음과 같이 표현되는 역 조건부 의견 도출의 특별한 경우를 나타낸다.

:$(\backslash omega^S\_\{A\backslash tilde$